package com.bdqn.spark.chapter05

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_RDD_File1 {
  def main(args: Array[String]): Unit = {
    // 获取Spark程序的运行环境
    val conf: SparkConf = new SparkConf()
      .setMaster("local[*]")
      .setAppName("RDD-File")
    val sc: SparkContext = new SparkContext(conf)

    // 在读取多个文件的时候，为了区分不同数据属于的文件
    // wholeTextFiles 以文件为单位读取数据
    // 返回的二元组
    // （ 文件路径，文件内容）
    val fileSourceRDD: RDD[(String,String)] = sc.wholeTextFiles("input")

    // 把读取到的数据打印到控制台
    fileSourceRDD.collect.foreach(println)

    sc.stop()
  }
}
